An Huy giáp với các tỉnh Sơn Đông, Giang Tô, Chiết Giang, Giang Tây, Hồ Bắc và Hà Nam. Địa mạo An Huy chủ yếu là đồng bằng và gò đồi. Đồng bằng, gò đồi và núi thấp tại An Huy nằm xen kẽ nhau. Trường Giang và Hoài Hà chảy từ tây sang đông An Huy với chiều dài tương ứng là 416 km và 430 km. Toàn An Huy có thể được phân thành năm khu vực tự nhiên: đồng bằng Hoài Bắc, vùng đồi Giang Hoài, vùng Đại Biệt Sơn ở Hoản Tây, vùng đồng bằng ven sông Trường Giang và vùng núi Hoản Nam.[8] Vùng đồng bằng chiếm 31,3% diện tích An Huy (bao gồm 5,8% đất cải tạo), gò đồi chiếm 29,5% diện tích, núi non chiếm 31,2% diện tích, các hồ và đầm lầy chiếm 8% diện tích.

Các dãy núi chủ yếu tại An Huy gồm Đại Biệt Sơn, Hoàng Sơn, Cửu Hóa Sơn, Thiên Trụ Sơn. Đỉnh cao nhất là đỉnh Liên Hoa thuộc Hoàng Sơn với cao độ 1.860 mét.[8]

Vùng đồng bằng Hoản Bắc bao gồm khu vực rừng lá rộng rụng lá bán hạn bình nguyên Hoa Bắc ở bờ bắc Hoài Hà và khu vực đất ngập nước ở bờ nam Hoài Hà. Vùng đồng bằng Hoản Bắc này có địa thế bằng phẳng và rộng rãi, thuộc khu vực phía nam của bình nguyên Hoa Bắc. Vùng đồng bằng Hoản Bắc có độ cao khoảng 20-50 mét so với mực nước biển, thấp dần từ tây bắc xuống đông nam. Các chi lưu phía bắc của Hoài Hà chảy theo hướng đông nam rồi nhập vào Hoài Hà và hồ Hồng Trạch. phía bắc của vùng đồng bằng Hoản Bắc chịu ảnh hưởng từ các trận lụt của Hoàng Hà nên hiện nay có lớp trầm tích sâu. Do được tiến hành khai khẩn nông nghiệp từ rất lâu, hiện nay vùng đồng bằng Hoản Bắc đã không còn thảm thực vật tự nhiên, hiện chỉ có các loài do con người trồng như trắc bách, dương, liễu, hông, dương hòe, du. Ở phía nam, địa hình không được bằng phẳng như ở phía bắc, Đại Biệt Sơn chiếm hầu hết khu vực tây nam An Huy và một loại các đồi và dãy núi cắt qua phần đông nam. Trường Giang chảy qua An Huy giữa hai vùng đồi núi này.

Cùng với địa hình, khí hậu của An Huy cũng có sự khác biệt giữa bắc và nam. phía bắc có khí hậu ôn hòa hơn và các mùa rõ rệt hơn. Nhiệt độ trung bình năm tại An Huy là 16-18 °C, chênh lệc bắc-nam là khoảng 2 °C; nhiệt độ trung bình vào tháng 1 là khoảng từ -1 °C đến 2 °C ở phía bắc Hoài Hà và từ 0 °C đến 3 °C ở phía nam Hoài Hà; nhiệt độ trung bình vào tháng 7 là khoảng 27 °C hoặc cao hơn. Lượng mưa trung bình hàng năm của An Huy là 800-1.600mm, các cơn mưa lớn xuất hiện vào tháng 6 và tháng 7 và có thể dẫn đến lũ lụt. An Huy có trung bình 1.800-2.500 giờ nắng mỗi năm, và có 200-250 ngày không có sương.

An Huy có trên 2.000 sông suối, hơn 110 hồ. Các sông quan trọng tại An Huy là Trường Giang, Hoài Hà, Tân An Giang; các hồ quan trọng của An Huy là hồ Sào, hồ Long Cảm và hồ Nam Y; hồ Sào với diện tích bề mặt 800 km² là một trong năm hồ nước ngọt lớn nhất Trung Quốc.[8] Tổng lượng tài nguyên nước của An Huy là 68 tỉ m³, chủ yếu là tại các sông thuộc lưu vực Hoài Hà, Trường Giang và Tiền Đường Giang. Trong đó, diện tích thuộc lưu vực Hoài Hà là 66.900 km², diện tích thuộc lưu vực Trường Giang là 66.000 km², diện tích thuộc lưu vực Tiền Đường Giang là 6.500 km².[9]